import requests
import json
def spider1():
    ## 地址固定是戏剧排行榜里面的
    url = 'https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action='
    num = -20
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
    }
    ## 设置爬取多少页
    page = 2
    ## 新建一个几个，把所有爬取到的json都放在这个集合里面，然后一次性再全部写出
    result=[]
    ## for循环请求不同页面
    for i in range(0, page):
        ## 修改读取数据起始位置，因为limit=20所以说明了一页20条记录
        num += 20
        param = {
            "start": num,
            "limit": 20
        }
        ## 发送get请求，把要传递给参数param，User-Agent放进去
        response = requests.get(url=url,params=param,headers=headers)
        ## 输出当前爬取的url地址
        print(response.url)
        ## 把当前爬取页面的数据放进resulet这个集合里面
        result += response.json()
    ## 新建文件夹，把resulet写出
    fp = open("./豆瓣电影.json","w+",encoding="utf-8")
    json.dump(result,fp=fp,ensure_ascii=False)
    print

if __name__ == '__main__':
    spider1()